Machine learning (ML) is revolutionizing protein structural analysis, including an important subproblem of predicting protein residue contact maps, i.e., which amino-acid residues are in close spatial proximity given the amino-acid sequence of a protein. Despite recent progresses in ML-based protein contact prediction, predicting contacts with a wide range of distances (commonly classified into short-, medium- and long-range contacts) remains a challenge. Here, we propose a multiscale graph neural network (GNN) based approach taking a cue from multiscale physics simulations, in which a standard pipeline involving a recurrent neural network (RNN) is augmented with three GNNs to refine predictive capability for short-, medium- and long-range residue contacts, respectively. Test results on the ProteinNet dataset show improved accuracy for contacts of all ranges using the proposed multiscale RNN+GNN approach over the conventional approach, including the most challenging case of long-range contact prediction.

Diagnostic radiologists need artificial intelligence (AI) for medical imaging, but access to medical images required for training in AI has become increasingly restrictive. To release and use medical images, we need an algorithm that can simultaneously protect privacy and preserve pathologies in medical images. To develop such an algorithm, here, we propose DP-GLOW, a hybrid of a local differential privacy (LDP) algorithm and one of the flow-based deep generative models (GLOW). By applying a GLOW model, we disentangle the pixelwise correlation of images, which makes it difficult to protect privacy with straightforward LDP algorithms for images. Specifically, we map images onto the latent vector of the GLOW model, each element of which follows an independent normal distribution, and we apply the Laplace mechanism to the latent vector. Moreover, we applied DP-GLOW to chest X-ray images to generate LDP images while preserving pathologies.

This study targets the mixed-integer black-box optimization (MI-BBO) problem where continuous and integer variables should be optimized simultaneously. The CMA-ES, our focus in this study, is a population-based stochastic search method that samples solution candidates from a multivariate Gaussian distribution (MGD), which shows excellent performance in continuous BBO. The parameters of MGD, mean and (co)variance, are updated based on the evaluation value of candidate solutions in the CMA-ES. If the CMA-ES is applied to the MI-BBO with straightforward discretization, however, the variance corresponding to the integer variables becomes much smaller than the granularity of the discretization before reaching the optimal solution, which leads to the stagnation of the optimization. In particular, when binary variables are included in the problem, this stagnation more likely occurs because the granularity of the discretization becomes wider, and the existing modification to the CMA-ES does not address this stagnation. To overcome these limitations, we propose a simple extension of the CMA-ES based on lower-bounding the marginal probabilities associated with the generation of integer variables in the MGD. The numerical experiments on the MI-BBO benchmark problems demonstrate the efficiency and robustness of the proposed method. Furthermore, in order to demonstrate the generality of the idea of the proposed method, in addition to the single-objective optimization case, we incorporate it into multi-objective CMA-ES and verify its performance on bi-objective mixed-integer benchmark problems.

在许多数据挖掘和机器学习任务（包括降低维度降低，离群检测，相似性搜索和子空间群集）中，对内在维度（ID）的准确估计至关重要。但是，由于它们的收敛性通常需要数百个点的样本量（即邻域尺寸），因此现有的ID估计方法可能仅对数据组成的应用程序组成的应用程序有限。在本文中，我们提出了一个局部ID估计策略，即使对于“紧密”的地方，稳定的策略也只有20个样本。估计器基于最新的固有维度（局部固有维度（LID））的极端价值理论模型，在样品成员之间的所有可用成对距离上应用MLE技术。我们的实验结果表明，我们提出的估计技术可以实现明显更小的方差，同时保持可比的偏见水平，而样本量比最先进的估计器小得多。

从出生到死亡，由于老化，我们都经历了令人惊讶的无处不在的变化。如果我们可以预测数字领域的衰老，即人体的数字双胞胎，我们将能够在很早的阶段检测病变，从而提高生活质量并延长寿命。我们观察到，没有一个先前开发的成年人体数字双胞胎在具有深层生成模型的体积医学图像之间明确训练的纵向转换规则，可能导致例如心室体积的预测性能不佳。在这里，我们建立了一个新的成人人体的数字双胞胎，该数字双胞胎采用纵向获得的头部计算机断层扫描（CT）图像进行训练，从而从一个当前的体积头CT图像中预测了未来的体积头CT图像。我们首次采用了三维基于流动的深层生成模型之一，以实现这种顺序的三维数字双胞胎。我们表明，我们的数字双胞胎在相对较短的程度上优于预测心室体积的最新方法。

这项工作与发现物理系统的偏微分方程（PDE）有关。现有方法证明了有限观察结果的PDE识别，但未能保持令人满意的噪声性能，部分原因是由于次优估计衍生物并发现了PDE系数。我们通过引入噪音吸引物理学的机器学习（NPIML）框架来解决问题，以在任意分布后从数据中发现管理PDE。我们的建议是双重的。首先，我们提出了几个神经网络，即求解器和预选者，这些神经网络对隐藏的物理约束产生了可解释的神经表示。在经过联合训练之后，求解器网络将近似潜在的候选物，例如部分衍生物，然后将其馈送到稀疏的回归算法中，该算法最初公布了最有可能的PERSIMISIAL PDE，根据信息标准决定。其次，我们提出了基于离散的傅立叶变换（DFT）的Denoising物理信息信息网络（DPINNS），以提供一组最佳的鉴定PDE系数，以符合降低降噪变量。 Denoising Pinns的结构被划分为前沿投影网络和PINN，以前学到的求解器初始化。我们对五个规范PDE的广泛实验确认，该拟议框架为PDE发现提供了一种可靠，可解释的方法，适用于广泛的系统，可能会因噪声而复杂。

目的：基于知识的计划（KBP）通常涉及培训端到端深度学习模型以预测剂量分布。但是，由于经常使用的医疗数据集规模有限，端到端方法可能与实际限制有关。为了解决这些局限性，我们提出了一种基于内容的图像检索（CBIR）方法，用于根据解剖学相似性检索先前计划的患者的剂量分布。方法：我们提出的CBIR方法训练一种代表模型，该模型可产生患者解剖信息的潜在空间嵌入。然后将新患者的潜在空间嵌入与数据库中以前患者的潜在空间嵌入，以检索剂量分布的图像。该项目的所有源代码均可在GitHub上获得。主要结果：在由我们机构的公开计划和临床计划组成的数据集上评估了各种CBIR方法的检索性能。这项研究比较了各种编码方法，从简单的自动编码器到Simsiam等最新的暹罗网络，并且在Multipask Siamese网络中观察到了最佳性能。意义：应用CBIR告知后续的治疗计划可能会解决与端到端KBP相关的许多限制。我们目前的结果表明，可以通过对先前开发的暹罗网络进行轻微更改来获得出色的图像检索性能。我们希望通过Metaplanner框架等方法将CBIR集成到未来工作中的自动化计划工作流程中。

我们考虑使用未知差异的双臂高斯匪徒的固定预算最佳臂识别问题。当差异未知时，性能保证与下限的性能保证匹配的算法最紧密的下限和算法的算法很长。当算法不可知到ARM的最佳比例算法。在本文中，我们提出了一种策略，该策略包括在估计的ARM绘制的目标分配概率之后具有随机采样（RS）的采样规则，并且使用增强的反概率加权（AIPW）估计器通常用于因果推断文学。我们将我们的战略称为RS-AIPW战略。在理论分析中，我们首先推导出鞅的大偏差原理，当第二次孵化的均值时，可以使用，并将其应用于我们提出的策略。然后，我们表明，拟议的策略在错误识别的可能性达到了Kaufmann等人的意义上是渐近最佳的。 （2016）当样品尺寸无限大而双臂之间的间隙变为零。

本文介绍了Hitachi团队的建议自动采样系统，为自动采样的第一个共享任务（Automin-2021）。我们利用可参考方法（即，不使用培训分钟）进行自动采样（任务A），首先将转录成块分成块，随后将这些块与精细调整的预先训练的BART模型总结一下论聊天对话的概述语料库。此外，我们将参数挖掘技术应用于生成的分钟，以一种结构良好和连贯的方式重新组织它们。我们利用多个相关性分数来确定在给出的转录物或另一分钟时是否从相同的会议中衍生出一分钟（任务B和C）。在这些分数之上，我们培养传统的机器学习模型来绑定它们并进行最终决策。因此，我们的任务方法是在语法正确和流畅性方面，在所有提交的所有提交和最佳系统中实现最佳充分性评分。对于任务B和C，所提出的模型成功地表现了大多数投票基线。

Recent deep learning approaches for representation learning on graphs follow a neighborhood aggregation procedure. We analyze some important properties of these models, and propose a strategy to overcome those. In particular, the range of "neighboring" nodes that a node's representation draws from strongly depends on the graph structure, analogous to the spread of a random walk. To adapt to local neighborhood properties and tasks, we explore an architecture -jumping knowledge (JK) networks -that flexibly leverages, for each node, different neighborhood ranges to enable better structure-aware representation. In a number of experiments on social, bioinformatics and citation networks, we demonstrate that our model achieves state-of-the-art performance. Furthermore, combining the JK framework with models like Graph Convolutional Networks, GraphSAGE and Graph Attention Networks consistently improves those models' performance.